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基于 PADC-PCNN 与 平稳 小 波 变换 多 焦距 
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摘 要 : [目的 /意义 ] 构建 绿色 植株 三 维 点 云 模型 需 大 量 清晰 图 像 ， 受 镜头 景深 限制 ， 在 采集 大 纵深 植株 图 像 时 
图 像 会 部 分 失 焦 ， 导 致 出 现 边 缘 模 糊 、 纹 理 细 节 丢 失 等 问题 ， 现 有 的 处 理 算法 难以 兼顾 处 理 质 量 和 处 理 速 度 。 本 
研究 目的 是 提出 一 种 新 型 算法 ， 提 高 融合 图 像 质量 问题 的 同时 兼顾 处 理 速 度 。[ 方 法 ] 提出 了 一 种 基于 非 下 采样 剪 
切 波 变换 (Non-Subsampled Shearlet Transform, NSST) 的 参数 自 适 应 双 通道 脉冲 耦合 神经 网 络 (Parameter Adapta- 
tion Dual Channel Pulse Coupled Neural Network, PADC-PCNN) 与 平稳 小 波 变换 (Stationary Wavelet Transform, 
SWT) 的 植株 图 像 融合 方法 。 首 先 对 植株 的 RGB 图 像 进 行 通道 分 离 ， 针 对 含 纹理 细 节 等 特征 较 多 的 G 通 道 进行 
NSST 分 解 ， 低 频 子 带 使 用 梯度 能 量 融 合 规 则 ， 高 频 子 带 使 用 PADC-PCNN 融合 规则 ; 对 轮廓 信息 和 背景 信息 多 的 
R, BKK, 采用 速度 快 且 具备 平移 不 变性 的 平稳 小 波 变 换 ， 用 以 抑制 伪 Gibbs 效 应 。 自 建 了 480 幅 图 像 共 8 组 数 
据 ， 以 光照 环境 、 距 离 和 植株 颜色 为 变量 ,同时 采集 不 同 焦距 图 像 验 证 算法 性 能 。[ 结 果 和 讨论 ] 基于 PADC- 
PCNN-SWT 算 法 与 常用 的 快速 导向 滤波 算法 (Fast Guided Filter，FGF)、 随 机 游 走 算法 (Random Walk, RW), 3E 
下 采样 剪 切 波 变换 的 脉冲 耦合 神经 网 络 算法 (Nonsubsampled Shearlet Transform based Pulse-Coupled Neural Net- 
work, NSST-PCNN), 、 平 稳 小 波 变换 算法 (Stationary Wavelet Transform, SWT) 和 非 下 采样 剪 切 波 变换 的 参数 自 适 
应 双 通 道 脉 冲 耦 合 神经 网 络 (Nonsubsampled Shearlet Transform based Parameter-Adaptive Dual-Channel Pulse-Cou- 
pled Neural Network, NSST-PADC) 等 五 种 算法 相 比 ， 在 清晰 度 上 比 前 四 种 算法 分 别提 高 了 5.6% 、8.1% 、6.1% 和 
17.6%， 在 空间 频率 上 比 前 四 种 算法 分 别提 高 了 2.9%、4.8%、7.1% 和 15.9% ， 而 相 较 于 融合 效果 最 好 的 NSST- 
PADC TTE T Wh BAUR SE 77 f 2-35] Be Fr 200.0% , 8] DAE TG [EL Z4] 6 mm。[ 结 论 ] 本 研究 提出 的 基于 PADC-PCNN- 
SWT 多 焦距 图 像 融 合算 法 实现 了 在 保障 融合 质量 的 同时 ， 提 高 了 融合 图 像 的 效率 ， 为 搭建 绿色 植株 三 维 点 云 模型 
提供 高 质量 数据 的 同时 节省 了 时 间 。 
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1 a = 中 的 应 用 ， 通 过 植株 三 维 点 云 研 究 作 物 形态 结构 和 


A 
生长 过 程 对 于 优选 育种 ， 长 势 监测 和 状态 评 佑 等 具 
绿色 植株 三 维 点 云 重建 是 虚拟 现实 技术 在 农业 
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有 重要 意义 “2 。 常 用 的 三 维 数据 重建 方法 有 运动 
恢复 结构 与 多 视角 立体 视觉 ， 都 需要 采集 大 量 精 
确 、 不 失真 的 植株 图 像 数 据 “ 。 受 镜头 景深 限制 ， 
在 采集 大 纵深 的 绿色 植株 图 像 时 ， 易 出 现 图 像 部 分 
失 焦 、 边 缘 模 糊 等 问题 ， 全 清晰 绿色 植株 图像 难以 
获得 ， 极 大 地 影响 了 三 维 点 云 模型 的 精度 “7"”。 为 
解决 这 一 难题 ,已 有 学 者 采用 多 焦距 图 像 融 合 的 方 
法 获得 相对 更 清晰 的 图 像 ~， 其 主要 可 分 为 空间 域 
融合 和 变换 域 融合 ”。 空 间 域 融合 方法 是 直接 在 原 
始 图 像 上 选取 像素 点 构造 融合 图 像 ， 但 这 样 会 导致 
多 通道 图 像 上 产生 伪 影 和 色差 ， 从 而 降低 图 像 融合 
质量 …; 虽然 变换 域 算 法 不 存在 上 述 问题 ， 如 小 
波 变换 能 够 在 去 除 伪 影 噪声 的 同时 保留 图 像 边缘 细 
节 信 息 ， 有 具有 良好 的 时 频 特 性 和 平移 不 变性 ， 但 受 
限于 只 能 提取 有 限 方向 的 信息 ， 单 一 小 波 变 换算 法 
融合 效果 仍 不 理想 ""。 因 此 ， 在 小 波 变换 的 基础 
上 发 展 出 了 曲线 波 变换 、 轮 廊 波 变换 、 剪 切 波 变 换 
等 ， 这 些 变换 很 好 地 解决 了 分 解 方向 受 限 问题 ， 同 
时 保留 了 其 平移 不 变性 。 目 前 ， 应 用 最 广 的 是 非 下 
采样 剪 切 波 变换 (Non-Subsampled Shearlet Trans- 
form，NSST) ， 该 方法 速度 快 ， 其 融合 规则 通常 依 
据 图 像 局 部 特征 信息 进行 设计 ， 而 这 些 局 部 特征 信 
息 关 注 的 影像 特征 单一 ， 无 法 有 效 兼 顾 影 像 整 体 结 
构 信 息 的 保持 和 细节 信息 的 提取 "”。 为 解决 该 问 
题 ， 有 学 者 提出 了 NSST 变 换 结合 脉冲 耦合 神经 网 
络 的 算法 ”， 由 于 该 算法 的 脉冲 同步 、 全 局 耦合 
的 特性 ， 能 很 好 地 解决 NSST 无 法 同时 兼顾 结构 信 
上 息 和 细节 信息 的 问题 ， 在 图 像 融合 领域 占 重要 地 位 。 

基于 NSST 域 的 脉冲 耦合 神经 网 络 (Pulse-Cou- 
pled Neural Network, PCNN) 算法 融合 效果 好 ， 其 
融合 效果 一 般 跟 分 解 层 数 成 正比 ， 但 分 解 层 越 多 ， 
处 理 时 间 越 长 ， 且 分 解 的 多 个 高 频 子 带 还 需 通 过 
PCNN 优 化， 算法 宛 杂 。 而 搭建 植株 三 维 点 云 模型 
本 里 就 需要 大 量 的 图 像 数 据 ， 少 则 上 百 张 ， 多 则 上 
千张 ， 如 何在 保证 图 像 质量 的 同时 提高 融合 效率 ， 
缩减 建 模 耗 时 就 成 了 吸 待 解决 的 问题 ， 许 多 学 者 就 
KREFT HX. HP, JRE A 针对 低频 子 带 
采用 改进 Laplacian 能 量 的 融合 策略 ， 受 限于 低频 子 
带 个 数 ， 精 度 提高 了 6.8% 但 处 理 速 度 提 升 甚 微 。 
KA CU 利用 Lab 颜 色 空间 对 RGB 图 像 重 构 后 进 


行 NSST 分 解 ， 并 依据 人 眼 特性 自 适 应 调节 PCNN 
参数 ， 增 强 了 融合 图 的 亮度 、 对 比 度 和 处 理 速度 ， 
但 经 过 空间 变换 后 受 高 频 噪 音 和 干扰， 融合 质量 有 符 
提高 。Ullah 等 提出 参数 自 适应 PCNN 和 局 部 
Laplacian 滤波 的 图 像 融合 算法 ， 其 收敛 速度 快 ， 但 
源 图 像 需要 经 过 多 次 颜色 空间 转换 ， 增 加 了 处 理 数 
据 的 复杂 度 且 易 产 生 失 真 。 刘 立 群 等 ”提出 了 一 
种 基于 自 适应 双 通 道 脉冲 耦合 神经 网 络 异 构图 像 融 
合 模 型 ， 在 不 同 光 场 下 对 图 像 进行 融合 ， 将 深度 
言 息 和 可 见 光 信息 进行 融合 ， 模 型 识别 融合 率 达到 
了 100%， 但 受 深度 图 像 的 影响 ， 其 色彩 还 原 性 较 
差 。 本 研究 依据 绿色 植物 的 结构 特性 和 纹理 分 布 对 
植株 RGB 网 像 的 不 同 通道 采用 针对 性 处 理 研究 改 
进 算法 ,在 保证 融合 质量 的 同时 有 效 提高 了 算法 处 
理 效率 。 


2 材料 与 方法 


2.1 多 焦距 图 像 融 合 模 型 构建 


本 研究 以 NSST 变换 和 平稳 小 波 变 换 相 结合 》 
基础 ， 其 中 NSST 变换 在 其 低频 段 采 用 图 像 梯 度 能 
量 的 融合 规则 ， 高 频段 采用 参数 自 适应 双 通 道 
PCNN 的 融合 规则 ， 多 尺度 重 构 后 得 到 融合 图 像 。 
平稳 小 波 变换 采用 能 量 梯度 函数 作为 焦点 度量 指 
标 ， 分 解 得 到 低 高 频 子 带 。 基 于 PADC-PCNN (Pa- 
rameter Adaptation Dual Channel Pulse Coupled Neu- 
ral Network) 与 平稳 小 波 算法 很 好 地 弥补 了 NSST 
变换 和 平稳 小 波 变换 两 种 算法 的 缺陷 ， 精 度 相 较 于 
平稳 小 波 变换 更 高 ， 处 理 速度 比 基 于 NSST 域 的 
PCNN 算 法 更 快 。 

2.1.1 NSST 模 型 

NSST 变换 第 一 步 采用 非 下 采样 金字 塔 (Non- 
Subsampled Pyramid, NSP) 算法 对 源 图 像 第 一 次 
分 解 ， 得 到 源 图 像 的 高 频 子 带 系数 和 低频 子 带 系 
数 。 然 后 对 低频 子 带 再 次 分 解 ， 如 此 反复 分 解 K 
次 。 第 二 步 对 每 层 的 高 频 子 带 部 分 进行 多 层 的 剪 切 
波 方向 局 部 化 分 解 ， 最 终 得 到 1 个 低频 子 带 和 
SE ,2 个 高 频 子 带 。NSST 变换 过 程 如 图 1 所 示 。 
2.1.2 PCNN 模型 

PCNN If] &$—^- TR ASIC AB p HEC a Sr 81 il 
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SATE 第 一 方向 于 带 


Al NSST € X X 


Fig. 1 Schematic diagram of the NSST transformation 
域 和 脉冲 发 送 器 三 部 分 组 成 ， 相 邻 的 神经 元 可 以 进 
行 琶 加 能 量 传输 ， 正 是 由 于 神经 元 群集 传导 ， 使 
其 有 着 同步 脉冲 发 射 的 能 力 “， 其 数学 表达 如 公 
式 (1) ~ (5) 所 示 。 


Fj(n) = S,(n) (1) 

LADJ) = Cr o 
W(K+m+1,1+m+1) 

U,(n) = e*U,(n - 1) + max {U}, U?\ (3) 


Y(n)- l, if U,(n) 2 0,(n - 1) 
0, otherwise 

O(n) = Ua 1)+ CY, (5) 

其 中 , nERERKZG i 7 代表 (i, j) 处 神 

经 元 S,(n), Fn), Lin), Uan), Y,(n), 0,(n) 

分 别 为 第 n 次 迭代 中 的 第 1 行 、 第 j 列 个 神经 元 的 外 

部 输入 、 反 馈 输 入 、 连 接 输入 、 耦 合 内 部 活动 项 、 

TH s^ HH AN PIECE; ou、w 设 置 的 时 间 和 常数; 

CL、Co 是 归 一 化 常数 ;Wi 是 3X3 的 加 权 融 合算 
子 。 最 终 PCNN 的 数学 模型 如 图 2 所 示 。 


接收 域 | 看 合 调制 域 | 


图 2 参数 自 适应 双 通 道 PCNN 模型 


WM ARIE Bh 


Fig. 2 Parameter adaptation dual channel Pulse Coupled 


Neural Network (PCNN) model 


2.1.3 平稳 小 波 变换 模型 


平稳 小 波 变换 是 多 尺度 宛 余 小 波 变换 中 的 一 


种 ， 具 有 多 分 辨 率 特性 和 平移 不 变性 ， 其 相 较 于 非 


下 采样 剪 切 波 变换 牺牲 了 图 像 细节 提取 能 力 ， 但 在 


图 像 重建 过 程 中 能 有 效 减少 噪声 干扰 他， 可 以 应 
用 于 细节 信息 较 少 轮廓 信息 较 多 的 图 像 通道 融合 ， 
根据 文献 [21] ， 其 分 解 公式 和 能 量 梯度 也 数 如 
公式 (6) — (10) 所 示 。 


Amn) = ÙX h(k)hi() A (k+m,1 +n) (6) 
Hi(m,n)= SoM) A +m,l+n)(7) 
Vi(m 0) - THAR)gAD) 4 Qoo m,l-* n) (8) 
D(m,n) = Vg/(g() AI (E m, 1+ n) (9) 


pn (10) 
Arly) -s 

其 中 ，WW (n) 和 eg’(n) 代 表 二 维 平稳 小 波 分 解 的 
低 通 和 高 通 滤波 器 ; 原始 图 像 经 分 解 后 得 到 2 尺度 
下 的 水 平 、 垂 直 和 对 角 方向 的 高 频 细节 信息 为 
Him, n), V(m, n), D'(m, n)， 低 频 分 量 为 
Al(m, n), 代表 的 是 能 量 梯度 函数 。 


2.2 改进 多 焦距 图 像 融合 算法 


针对 绿色 植株 在 G 通 道中 纹理 细节 分 布 较 多 ， 
而 R 和 B 通 道 轮 廊 信息 较 多 的 特点 ， 将 两 种 算法 并 
行 处 理 ， 并 在 PCNN 高 频 融 合 规则 中 加 入 注意 力 机 
制 和 多 源 图 像 双 通 道 并 行 方 法 。 注 意 力 机 制 是 针对 
高 频 子 带 中 包含 大 量 细节 和 结构 信息 进行 设计 ， 依 
据 文 献 [14] 选择 采用 八 邻 域 修正 拉 普 拉 斯 算 子 的 
加 权 作 为 PCNN 高 频 融 合 的 链接 强度 ， 该 算 子 对 细 
节 和 边缘 信息 敏感 ， 当 处 理 到 细节 纹理 特征 时 ， 链 
接 强 度 会 随 之 提升 ， 其 链接 强度 和 修正 拉 普 拉 斯 算 
子 如 公式 (11) — (12) 所 示 。 
BLA Wnt rth 
n+r+k)EML(i+m,j +n) 
EML(i, j)=|21(i, j)-1(i- 1. j)-1(i*1, j)| 
+|27(i, j)-1(i, j-1)-1(i, j+1)| 


)-1(i-1. j-1)-1(i*1, j+1)| 


(11) 


1 
7 Ali, j 
A Lu 


«lari, j)-1(i-1, j+1)-I(i+1, j- 1)| 


V2 


(12) 
Hp, 1G, 7) 代表 图 像 在 (i, j) 人 处 的 像素 值 ; 
WAH (2r+1) X (2r+t1) 的 加 权 和 矩阵 ， 参 考 公 
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xt (11)， 当 r=1 时 ，EML(i, j) 即 代表 3X3 的 加 
prt REB VBE G, )) 处 的 修正 拉 普 拉 斯 算 子 。 

配合 两 种 算法 并 行 处 理 能 在 保证 图 像 融合 效果 
的 同时 ， 增 强 各 像素 点 关联 性 ， 缩 短 运 算 时 间 ， 具 
体 流程 如 图 3 所 示 。 


BEA cd 


融合 图 从 
图 3 基于 PADC-PCNN 和 平稳 小 波 的 融合 算法 
Fig. 3 Fusion algorithm based on PADC-PCNN-SWT 
首先 对 两 幅 源 图 像 含 纹理 细节 信息 较 多 的 G 通 
道 采 用 NSST 分 解 ， 依 据 文献 [21] 选择 了 融合 效 
果 最 好 的 4 解 层 16 个 方向 的 NSST 分 解 结构 。 两 幅 
图 像 一 共有 1 组 低频 子 带 ，64 组 高 频 子 带 ， 低 频 子 


带 组 使 用 图 像 梯度 能 量 方法 进行 融合 ， 高 频 子 带 组 
使 用 PCNN 自 适 应 调节 参数 进行 融合 ， 最 后 通过 


NSST 重 构 得 到 G 通 道 融 合 图 像 。 而 对 轮廓 信息 和 
背景 信息 较 多 的 R 和 B 通 道 ， 采 用 速度 更 快 且 同样 
具备 平移 不 变性 的 平稳 小 波 变 换 ， 用 以 抑制 伪 
Gibbs 效 应 ,使 用 多 尺度 系数 方法 得 到 融合 和 矩 
阵 ， 经 过 平稳 小 波 逆 变 换 还 原 R 和 B 通 道 融 合 图 
像 ， 三 色 通 道 重组 得 到 最 终 的 RGB 融合 图 像 。 


2.3 多 焦距 图 像 采 集 系 统 


为 了 采集 不 同 焦距 下 的 高 清 绿色 植株 图 像 ， 设 
计 了 一 套 植 株 三 维 表 型 采集 系统 。 该 系统 通过 多 组 
电机 和 传感器 对 盆栽 植株 进行 全 方位 图 像 采 集 ， 能 
在 保证 植株 静止 的 情况 下 ,采集 到 不 同 距 离 、 角 
度 、 高 度 和 光源 环境 下 的 植株 多 焦距 图 像 ， 相 比 于 
人 工 扫 描 采集 数据 ， 使 用 该 系统 能 更 稳定 更 精确 地 
获得 数据 ， 有 效 避 人 免 因 人 工 采 集 导 至 的 植株 图 像 偏 
移 等 问题 。 


2.3.1 系统 设计 

系统 主要 由 AIK 相机、 步 进 电机 、 超 声波 电 
机 、 温 度 传感器 、 限 位 传 感 句 和 多 电源 电路 等 组 
成 。 其 中 相机 型 号 是 MV-CA016-10UC，160 万 像 
素 CMOS 传 感 需 型 号 是 IMX273; 镜头 型 号 是 
MVL-MF2518M-5MPE 变焦 镜头 fi ER 8] ya El 
25 mm，F 数 为 F1.8~F16。 植 株 放 置 旋转 底座 上 ， 
可 利用 步 进 电机 控制 其 旋转 角度 和 进退 距离 ， 相 机 
国定 在 滑 轨 上 以 便于 步 进 电机 控制 其 垂直 高 度 和 相 
机 拍摄 仰 俯 角 度 。 上 位 机 通过 电机 反馈 获得 植物 的 
位 置信 息 ， 控 制 超声 波 电机 旋转 镜头 调整 焦距 ， 再 
旋转 底座 依次 采集 植株 全 方位 的 多 焦距 图 像 ， 再 进 
行 图 像 融 合 从 而 得 到 全 方位 全 清晰 的 植株 图 像 ， 植 
物 图 像 采 集 系统 三 维 示意 图 和 实物 图 如 图 4 所 示 。 


APL 


LLL 


(b) 实 物 图 
图 4 植株 三 维 表 型 采集 系统 实物 图 


Fig. 4 Three dimensional schematic and physical drawings of 


the plant phenotype acquisition system 


2.3.2 图像 采集 

为 了 精确 采集 到 前 端 和 后 端 对 焦 的 图 像 ， 使 用 
查找 表 的 方式 映射 植株 距离 和 超声 波 电 机 旋转 角度 
之 间 的 关系 。 每 次 拍摄 之 前 通过 电机 反馈 数据 获得 
位 置信 息 ， 通 过 查找 表 控 制 超声 波 电 机 调整 至 对 焦 
角度 附近 ， 拍 摄 两 幅 前 后 景 对焦 图 像 。 
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为 验证 在 不 同 环境 和 视角 下 的 性 能 ， 通 过 植株 
三 维 表 型 采集 系统 采集 图 像 构建 数据 集 。 首 先 ， 设 
置 了 植株 全 景 、 近 景 和 俯视 3 个 视角 ， 每 个 视角 下 
采集 完 当 前 植株 正面 图 像 后 ， 由 底盘 电机 带动 植株 
旋转 36" 再 次 采集 ， 直 至 采集 完 植株 360? 图 像 为 止 ， 
再 调整 视角 进行 下 一 组 视角 下 图 像 采 集 。 同 时 设置 
了 自然 光 、 室 内 光 和 人 工 打 光 3 种 光照 环境 ， 对 于 
自然 光 下 的 图 像 采 集 ， 以 光 强 1900~2100 lux 的 室 
外 阳光 提供 光照 ， 并 关闭 其 他 非 室 外 阳光 的 发 光 
源 ; 室内 光 下 的 图 像 采 集 ， 以 光 强 50~150 lux 的 
LED 灯 管 提供 光照 ;对 于 人 工 打 光 下 的 光照 环境 设 
置 ， 仅 以 光 强 400—600 lux f] LED Zh GXT HEME JE 
照 。 在 不 同 光 源 下 采集 完 当 前 植株 正面 图 像 后 ， 旋 
转 底座 再 进行 采集 直至 采集 完 10 个 方向 图 像 。 本 
研究 数据 集 由 8 组 常见 的 盆栽 植物 网 像 数 据 组 成 。 
对 于 前 3 组 数据 ， 为 研究 不 同 光 强 下 多 焦距 绿色 植 
株 图 像 融 合 性 能 ， 采 用 叶片 偏 大 ， 在 不 同 光源 环境 
下 纹理 细节 明显 的 绿色 植株 绿 葛 和 梨 茂 。 中 间 3 
组 ， 为 研究 不 同 视角 下 多 焦距 图 像 融合 性 能 和 对 伪 
Gibbs 抑制 效果 ， 全 景 组 和 近景 组 选择 叶片 较 细 人 尖 
端 较 多 的 吊兰 ,俯视 组 则 选择 体积 较 小 旦 纵深 合适 
的 马 拉 巴 票 。 后 2 组 为 研究 非 绿 色 植 株 的 多 焦距 图 
像 融 合 效 果 ， 选 择 包含 红色 花 杂 的 一 品 红 和 包含 黄 
色 叶 片 的 变 叶 木 ， 同 时 选用 背景 为 蓝 色 ， 并 避免 采 
集 到 设备 影响 色彩 实验 结果 。 前 3 组 采集 3 种 光照 
下 10 个 方向 的 前 后 端 对 焦 图 像 ， 中 间 3 组 采集 3 种 
视角 下 10 个 方向 的 前 后 端 对 焦 图 像 ， 最 后 2 组 采集 
两 株 非 绿色 植株 的 前 后 端 对 焦 图 像 ， 最 终 整 个 数据 
集 包 含 480 幅 植株 前 后 端 对 焦 图 像 。 


3 结果 与 分 析 


通过 使 用 常用 的 平稳 小 波 变换 算法 (Station- 
ary Wavelet Transform, SWT) °”, f Sem] yg 
i (Fast Guided Filter, FGF), B& SLY AE 
(Random Walk, RW) "', NSST-PCNN 算法 2 ， 
NSSTPADC 算 法 '*' 和 PADC-PCNN-SWT 算 法 对 采 
集 到 的 480 幅 多 焦距 植株 图 像 进行 融合 处 理 ， 再 进 
行 主 客观 评价 分 析 比 较 算 法 性 能 。 其 中 非 下 采样 剪 
切 波 变换 算法 设置 层 数 都 是 4 层 分 解 层 16 个 方向 子 
带 。 计 算 环 境 为 : MATLAB R2021a, 64 位 Win- 


dows 10 操作 系统 ，8 GB 内 存 ， 


2.50GHz CPU. 
3.1 主观 评估 


使 用 上 文 的 植株 表 型 采集 系统 哲 摄 多 焦距 图 
像 ， 如 图 5 所 示 。 图 5 (a) 是 前 端 图 像 失 焦 ， 植 株 
叶 面 模糊 ， 图 5 (b) 是 后 端 图 像 失 焦 ， 植 株 纹理 细 
节 丢 失 。 除 此 之 外 ， 两 幅 图 像 在 各 处 均 因 镜 头 景 深 
限制 ， 存 在 不 同 程度 的 失 焦 问题 。 


15-7300HQ 


(a) 前 端 对 焦 图 像 
图 5 多 焦距 植株 源 图 像 


Fig. 5 Multifocal plant source images 


(b) 后 端 对 焦 图 像 


通过 PADC-PCNN-SWT 算 法 将 两 由 图像 进行 
融合 ， 结 果 如 图 6 所 示 ， 原 本 图 5 两 处 失 焦 部 分 均 
还 原 为 对 焦 状 态 ， 其 叶片 轮廓 清晰 ， 叶 面 纹理 特征 
明显 ， 相 比 于 其 他 非 NSST 融 合算 法 PADC- 
PCNN-SWT 算 法 的 融合 图 像 基 本 不 存在 伪 Gibbs BL 
象 。 整 体 图 像 清晰 度 、 色 彩 还 原 度 和 纹理 特征 留存 
度 均 较 好 。 


图 6 基于 PADC-PCNN-SWT 算 法 绿色 植株 融合 图 像 
Fig. 6 Fusion images of green plant based on PADC-PCNN- 
SWT method 


3.2 客观 评估 


采用 常用 的 四 个 客观 指标 来 对 算法 图 像 融 合 效 
果 进 行 评 估 ， 其 中 包括 清晰 度 (Average Gradient, 
AG)、 空 间 频率 (Spatial Frequency, SF), fiij (En- 
tropy, EN) 和 标准 差 (Standard Deviation, SD) ^", 

AG 能 敏感 地 反映 图 像 对 微小 细节 反差 的 表达 
能 力 ， 同 时 也 能 反映 出 图 像 的 纹理 特征 多 少 ， 按 照 
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公式 O3) 计算 。 


ee 1 uu [VF (i,j )+VF (i,j) 
(M-1)(N-1) i=1 i=1 2 


其 中 ，M，N 为 图 像 的 长 帘 ; VEG, J) AAR 
素 点 在 x 轴 上 差 值 的 平方 ，V (i, j) 为 该 像素 点 在 
y 轴 上 差 值 的 平方 ; AG 值 越 大 图 像 细节 越 多 ， 清 晰 
度 越 高 ， 是 衡量 融合 图 像 质量 最 重要 的 指标 。 

SF 是 基于 图 像 统计 特征 的 评价 指标 ， 表 示 图 
像 在 空间 域 中 的 变化 紊 ， 反映 的 是 空间 域内 图 像 的 
整体 活跃 度 ， 按 照 公 式 (14) 计算 。 

SF = RF? + CF? (14) 

其 中 ，RF 和 CF 分 别 是 图 像 的 行 频率 和 列 频率 。 

EN 是 基于 图 像 信息 量 的 评估 参数 ， 用 于 评价 
图 像 包含 信息 的 多 少 ， 如 公式 (15) 所 示 : 


(13) 


A 


EN(F) - - S'P,(i) log, P,(i) (15) 


Es EH Bell 


fn oe S$ OD 


LINES. 


Esas 


i SS} 


其 中 ,i 表示 图 像 灰 度 值 ; 工 表 示 图 像 灰 度 值 最 大 
{Es Pi(i) 表 示 第 FF 幅 图 像 中 灰 度 值 为 i 出现 的 概率 。 

SD 是 度量 图 像 中 信息 丰富 度 的 指标 ， 表 示 图 
像 的 灰 度 值 分 布 密度 ， 用 于 衡量 图 像 细节 的 丰富 
度 ， 如 公式 (16) 所 示 。 


Ee (16) 


其 中 ，M 和 N 是 网 像 的 长 和 宽 ; FO, DREKI 
像 第 ; 行 、 第 / 列 像素 点 ; 表示 该 图 像 像 素 的 平均 值 。 

NSST-PADC, FGF, NSST-PCNN, RW, SWT 
和 了 PADC-PCNN-SWT 算 法 下 的 部 分 融合 图 像 如 图 7 
所 示 。 考 虑 到 融合 图 像 数 据 量 较 大 ， 所 以 采用 不 同 
组 的 融合 图 像 评 价 指标 取 平 均 的 方法 苦 代 逐个 评价 
融合 图 像 的 方法 。 


(a)FGF (b)RW 


(c)NSST-PCNN 


(e)SWT (f)PADC-PCNN-SWT 


(d)NSST-PADC 
图 7 六 种 算法 的 多 焦距 融合 图 像 


Fig. 7 Multifocal length fusion images obtained through the six algorithms 
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将 NSST-PADC, FGF, NSST-PCNN, RW, 
SWT 和 PADC-PCNN-SWT 算 法 下 的 叶子 部 分 融合 
图 像 局 部 放大 如 图 8 所 示 。 其 中 PADC-PCNN-SWT 


算法 得 到 的 融合 图 像 纹 理 相 较 于 FGF、NSST- 
PCNN, RW 和 SWT 算 法 的 融合 图 像 细 节 更 加 明显 ， 
且 边 缘 更 加 清晰 ， 人 有 眼 呈现 效果 更 好 。 


(a)FGF 


(b)RW 


(c)NSST-PCNN . (d)NSST-PADC 


(e)SWT (f)PADC-PCNN-SWT 


图 8 六 种 算法 的 局 部 融合 图 


Fig. 8 Local fusion images from the six algorithms 


同时 为 研究 PADC-PCNN-SWT 算 法 失 焦 调节 
的 有 效 范围 ,设计 了 如 下 实验 : 以 室内 光 组 为 例 ， 
图 像 较 为 清晰 时 ， 人 焦距 为 18 mm， 步 进 为 1.5 mm 
前 后 各 调节 4 次 ， 再 利用 PADC-PCNN-SWT 算 法 进 
行 图 像 融合 ， 并 使 用 四 种 评价 指标 进行 评价 分 析 ， 
具体 如 表 1 所 示 ， 融 合 图 像 如 图 9 所 示 。 
表 1 六 种 算法 下 融合 图 像 的 四 评价 指标 


Table 1 Four sets of evaluation indicators for the fused images 


from the six algorithms 


源 图 像 算法 


AGAGL:Px"') SFMLLP.Px !) EN/(bit-Px ) SD/GL 


FGF 2.78 10.25 6.52 81.57 
RW 2.72 9.88 6.51 81.50 
NSST-PCNN 2.87 9.95 6.59 80.87 
第 一 组 NSSTPADC 3.25 11.43 6.63 81.60 
SWT 2.52 8.52 6.50 81.08 
PADC- 

2.98 10.32 6.57 81.52 

PCNN-SWT 
FGF 3.29 10.85 6.80 67.14 
RW 321 10.62 6.80 67.00 
NSST-PCNN 3.19 9.89 6.83 66.14 
第 二 组 NSSTPADC 3.67 11.83 6.89 67.12 
SWT 2.92 9.22 6.79 66.42 
dud 3.41 11.11 6.84 66.96 

PCNN-SWT 
FGF 3.21 10.59 6.64 53.33 
RW 3.14 10.57 6.64 53.20 
NSST-PCNN 3.17 10.43 6.64 52.32 
第 三 组 NSST-PADC 3.69 12.16 6.72 53.49 
SWT 2.86 9.21 6.63 52.64 

PADC- 

ee 3.38 10.97 6.68 53.22 
FGF 2.85 10.77 6.71 72.43 
第 四 组 RW 2.80 9.37 6.71 72.38 
NSST-PCNN 2.81 9.02 6.75 71.33 


续 表 1 
源 图 像 算法 AGÁGL-Px^) SFMLLP.Px0 EN/(bi-Px) SD/GL 
NSST-PADC 3.28 10.77 6.79 72.44 
SWT 2.58 8.33 6.70 71.98 
PADC- 
3.05 10.06 6.74 72.43 
PCNN-SWT 
FGF 2.93 11.62 6.57 70.36 
RW 2.87 11.63 6.57 70.30 
NSST-PCNN 2.97 11.76 6.62 69.86 
第 五 组 NSST-PADC 3.35 13.21 6.66 70.47 
SWT 2.66 10.45 6.56 69.94 
PADC- 
3.09 12.04 6.61 70.41 
PCNN-SWT 
FGF 2.00 9.31 6.09 66.35 
RW 1.94 9.07 6.08 66.29 
NSST-PCNN 1.98 8.86 6.06 65.90 
第 六 组 NSST-PADC 2.27 10.11 6.17 66.34 
SWT 1.78 8.12 6.06 66.01 
PADC- 
2.1 9.29 6.13 66.33 
PCNN-SWT 
FGF 4.07 14.88 7.19 76.94 
RW 4.06 15.09 7.19 76.86 
NSST-PCNN 3.90 13.09 743 75.16 
第 七 组 NSST-PADC 4.48 16.11 7.21 77.03 
SWT 3.76 12.58 7.16 74.79 
PADC- 
3.97 3.06 747 75.65 
PCNN-SWT 
FGF 4.17 15.87 7.69 74.21 
RW 4.23 5.74 7.69 74.03 
NSST-PCNN 4.35 15.58 7.66 74.53 
第 八 组 NSST-PADC 4.43 6.11 7.69 74.94 
SWT 3.69 14.37 7.68 72.89 
PADC- 
3.98 14.63 7.69 73.12 
PCNN-SWT 


由 表 1 可 看 出 ，AG 和 SF 在 同 组 内 数值 变化 较 
大 ， 主 要 是 由 于 六 种 算法 在 细节 部 分 的 融合 效果 不 
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(a) 3E 12—15 mm 


(b) 3E 15—18 mm 


(c) & 3E 18—21 mm (d) &3E21—24 mm 


图 9 不 同 焦距 下 的 融合 图 像 


Fig. 9 Fusion images at different focal lengths 


同 导致 。 由 公式 (120 和 (13) 可 知 ，AG 和 SF 的 
值 与 图 像 的 像素 变化 率 相 关 ， 即 对 高 频 部 分 的 细节 


SWT 算 法 仅 适 用 于 绿色 植株 。 
由 表 2 可 知 ，NSST-PADC 算 法 平均 耗 时 1500 s, 


纹理 较为 敏感 ， 其 值 越 大 表示 该 算法 融合 细节 效 
越 好 。 由 公式 (14) 可 知 ，EN 与 图 像 的 颜色 通道 
的 灰 度 值 分 布 概率 相关 ， 用 于 反映 融合 图 像 色 彩 还 
原 程 度 。EN 在 同 组 内 数值 基本 不 变 ， 表 示 六 种 算 
法 在 图 像 融 合 的 色彩 还 原 度 上 相差 不 大 ， 同 时 前 6 
组 基本 稳定 在 6.5 附 近 ， 而 第 七 组 和 第 八 组 在 7.7 附 
近 ， 这 是 由 于 前 6 组 颜色 组 成 相似 ， 而 后 2 组 与 前 6 
组 颜色 组 成 不 同 ， 导 致 图 像 的 颜色 通道 灰 度 值 分 布 
不 同 引 起 EN 数值 上 差异 。 由 公式 (15) 可 知 ，SD 
主要 与 灰 度 值 分 布 密度 有 关 ， 对 低频 部 分 的 轮廓 较 
为 敏感 ， 用 于 评价 算法 对 图 像 轮 廓 的 融合 效果 。 
SD 数值 在 同 组 内 基本 相差 不 大 ， 表 示 六 种 算法 对 
低频 部 分 的 轮廓 信息 融合 效果 相差 不 大 。 而 不 同 组 
之 间 相 差 较 大 ， 主 要 是 由 于 不 同 植株 的 轮廓 大 小 不 
同 导致 ， 如 第 一 组 室内 光 组 ， 其 植株 整体 轮廓 较 
大 ， 图 像 灰 度 值 密度 较 散 ,导致 其 SD 数值 在 8 组 
中 最 大 ， 而 第 三 组 强 光 组 ， 其 植株 整体 轮廓 较 小 ， 
图 像 灰 度 值 密度 较为 集中 ， 导 致 其 SD 数 值 在 八 组 
中 最 小 。 

经 计算 ，PADC-PCNN-SWT 算 法 在 清晰 度 AG 
这 一 评价 指标 上 平均 相 较 于 前 6 组 的 FGF、RW、 
NSST-PCNN 和 SWT 分 别提 高 了 5.6%、8.1%、6.1% 
和 17.6%， 同 时 在 空间 频率 SF 指标 上 分 别提 高 了 
2.9%、4.8%、7.1% 和 15.9%， 但 相 较 于 NSSTPADC 
算法 分 别 低 了 7.2% 和 7.0%， 同 时 EN 和 SD 指标 上 
6 种 算法 之 间 差 距 不 到 1.0%。EN 和 SD 指 标 上 6 种 


um 


算法 之 间 差 距 不 到 1.0%。 色 彩 组 只 对 非 绿色 植株 的 
非 绿色 融合 部 分 进行 指标 评价 ， 其 结果 如 表 1 所 
示 ， 红 色 组 和 黄色 组 在 AG 这 一 指标 下 相 较 于 其 算 


法 下 降 了 1.1%， 在 SF 这 一 指标 下 下 降 了 5.1%， 对 
非 绿色 植株 的 融合 效果 下 降 严 重 ， 故 PADC-PCNN- 


而 本 研究 算法 PADC-DCNN-SWT 仅 需 其 1/3 的 耗 时 ， 
在 保证 融合 图 像 质 量 的 同时 极 大 地 提升 了 处 理 效率 。 
表 2 六 种 算法 下 融合 图 像 的 平均 耗 时 


Table 2 Average time consumed for the fused images from the 


six algorithms 


NSST- NSST- PADC- 
FGF — RW penn PADC SWT PCNN-SWT 
时 间 /s 570 160 400 1500 60 500 


由 表 3 可 知 ，EN 和 SD 值 在 不 同 焦距 下 仍然 差 
中 较 小 ， 即 在 失 焦 严重 的 情况 下 ， 基 于 PADC- 
PCNN 和 平稳 小 波 算法 仍 有 较 好 的 轮廓 和 色彩 还 原 
效果 。 但 是 AG 和 SF 差距 就 很 明显 ， 只 有 焦距 在 
15—21 mm 的 指标 较 好 ， 即 PADC-PCNN-SWT 算 法 
在 图 像 较 为 清晰 下 ， 和 焦距 调节 适用 范围 在 6 mm 
左右 。 


表 3 不 同 焦距 下 的 四 个 评价 指标 


Table 3 Four evaluation indicators at different focal lengths 


焦距 /mm | AGK(GL-Px ) SF(LP-Px ) EN/(bit-Px") | SD/GL 
12-15 2.70 9.79 6.42 80.20 
15-18 3.02 11.10 6.48 81.13 
18-21 2.92 11.27 6.45 81.80 
21-24 2.73 10.74 6.32 80.56 


4 结 论 


针对 现 有 绿色 植株 图 像 融 合算 法 难以 兼顾 处 理 
质量 和 处 理 速 度 的 问题 ， 本 研究 提出 了 了 PADC- 
PCNN-SWT 变 换 的 多 焦距 绿色 植株 图 像 融 合 方法 。 
并 构建 了 480 幅 图 像 的 数据 集 ， 同 常见 的 5 融合 算 
法 进行 比较 。 通 过 对 比 发 现 ，PADC-PCNN-SWT 算 
法 在 AG 和 SF 两 指标 上 表现 优异 ， 同 时 各 算法 在 
EN 和 SD 值 上 相近 ， 这 意味 着 PADC-PCNN-SWT 
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算法 在 拥有 与 其 他 算法 相近 的 轮廓 融合 效果 和 色彩 
还 原 效果 的 同时 有 着 更 强 的 细节 融合 效果 。 在 处 理 
速度 方面 ， 相 较 于 融合 质量 最 优 的 NSSTPADC 算 
法 提高 了 200.0%， 与 NSSTPCNN 和 SWT 算 法 相 
近 。 为 研究 色彩 对 PADC-PCNN-SWT 算 法 影响 ， 
对 一 品 红 和 变 叶 木 2 组 色彩 组 进行 分 析 ， 结 果 表 明 
基于 PADC-PCNN 和 平稳 小 波 算法 对 非 绿色 植株 的 
非 绿 色 部 分 融合 质量 下 降 严 重 ， 对 绿色 部 分 的 融合 
效果 基本 与 前 文 一 致 ， 故 PADC-PCNN-SWT 算 法 
只 针对 绿色 植株 有 较 好 的 效果 。 同 时 为 研究 PADC- 
PCNN-SWT 算 法 的 调节 焦距 有 效 范 围 ， 采 集 了 各 
个 焦距 下 的 植株 图 像 分 别 进行 融合 。 结 果 表 明 ， 调 
节 焦 距 在 6 mm 左右 ，PADC-PCNN-SWT 算 法 仍 有 
较 好 的 细节 融合 效果 。 综 上 ， 本 研究 提出 的 方法 能 
有 效 兼顾 绿色 植株 图 像 融 合 的 质量 和 速度 ， 并 在 细 
节 融 合 方面 表现 更 强 的 性 能 ， 能 为 搭建 植株 三 维 点 
云 模 型 提供 高 质量 数据 的 同时 节省 大 量 时 间 。 未 来 
研究 将 继续 丰富 非 绿 色 植 株数 据 ， 并 进一步 改进 算 
法 模型 ， 实 现 混 色 植 株 的 多 焦距 图 像 融 合 。 
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Abstract: 


[Objective] To construct the 3D point cloud model of green plants a large number of clear images are needed. Due to the limitation of 


the depth of field of the lens, part of the image would be out of focus when the green plant image with a large depth of field is collect- 


ed, resulting in problems such as edge blurring and texture detail loss, which greatly affects the accuracy of the 3D point cloud model. 


Vol. 5, No. 3 EA: 基于 PADC-PCNN 与 平稳 小 波 变换 多 焦距 绿色 植株 图 像 融合 算法 131 


However, the existing processing algorithms are difficult to take into account both processing quality and processing speed, and the ac- 
tual effect is not ideal. The purpose of this research is to improve the quality of the fused image while taking into account the process- 
ing speed. 

[Methods] A plant image fusion method based on non-subsampled shearlet transform (NSST) based parameter-adaptive dual channel 
pulse-coupled neural network (PADC-PCNN) and stationary wavelet transform (SWT) was proposed. Firstly, the RGB image of the 
plant was separated into three color channels, and the G channel with many features such as texture details was decomposed by NSST 
in four decomposition layers and 16 directions, which was divided into one group of low frequency subbands and 64 groups of high 
frequency subbands. The low frequency subband used the gradient energy fusion rule, and the high frequency subband used the PADC- 
PCNN fusion rule. In addition, the weighting of the eight-neighborhood modified Laplacian operator was used as the link strength of 
the high-frequency fusion part, which enhanced the fusion effect of the detailed features. At the same time, for the R and B channels 
with more contour information and background information, a SWT with fast speed and translation invariance was used to suppress 
the pseudo-Gibbs effect. Through the high-precision and high-stability multi-focal length plant image acquisition system, 480 images 
of 8 experimental groups were collected. The 8 groups of data were divided into an indoor light group, natural light group, strong light 
group, distant view group, close view group, overlooking group, red group, and yellow group. Meanwhile, to study the application 
range of the algorithm, the focus length of the collected clear plant image was used as the reference (18 mm), and the image acquisi- 
tion was adjusted four times before and after the step of 1.5 mm, forming the multi-focus experimental group. Subjective evaluation 
and objective evaluation were carried out for each experimental group to verify the performance of the algorithm. Subjective evalua- 
tion was analyzed through human eye observation, detail comparison, and other forms, mainly based on the human visual effect. The 
image fusion effect of the algorithm was evaluated using four commonly used objective indicators, including average gradient (AG), 
spatial frequency (SF), entropy (EN), and standard deviation (SD). 

[Results and Discussions] The proposed PADC-PCNN-SWT algorithm and other five algorithms of common fast guided filtering al- 
gorithm (FGF), random walk algorithm (RW), non-subsampled shearlet transform based PCNN (NSST-PCNN) algorithm, SWT algo- 
rithm and non-subsampled shearlet transform based parameter-adaptive dual-channel pulse-coupled neural network (NSST-PADC) 
and were compared. In the objective evaluation data except for the red group and the yellow group, each index of the PADC-PCNN- 
SWT algorithm was second only to the NSST-PADC algorithm, but the processing speed was 200.096 higher than that of the NSST- 
PADC algorithm on average. At the same time, compared with the FDF, RW, NSST-PCNN, and SWT algorithms, the PADC-PCN 
-SWT algorithm improved the clarity index by 5.696, 8.196, 6.196, and 17.696, respectively, and improved the spatial frequency index 
by 2.9%, 4.8%, 7.1%, and 15.9%, respectively. However, the difference between the two indicators of information entropy and stan- 
dard deviation was less than 1%, and the influence was ignored. In the yellow group and the red group, the fusion quality of the non- 
green part of the algorithm based on PADC-PCNN-SWT was seriously degraded. Compared with other algorithms, the sharpness in- 
dex of the algorithm based on PADC-PCNN-SWT decreased by an average of 1.1%, and the spatial frequency decreased by an aver- 
age of 5.1%. However, the indicators of the green part of the fused image were basically consistent with the previous several groups of 
experiments, and the fusion effect was good. Therefore, the algorithm based on PADC-PCNN-SWT only had a good fusion effect on 
green plants. Finally, by comparing the quality of four groups of fused images with different focal length ranges, the results showed 
that the algorithm based on PADC-PCNN-SWT had a better contour and color restoration effect for out-of-focus images in the range 
of 15-21 mm, and the focusing range based on PADC-PCNN-SWT was about 6 mm. 

[Conclusions] The multi-focal length image fusion algorithm based on PADC-PCNN-SWT achieved better detail fusion performance 
and higher image fusion efficiency while ensuring fusion quality, providing high-quality data, and saving a lot of time for building 3D 
point cloud model of green plants. 


Key words: multi-focal length; image fusion; stationary wavelet transform; parameter-adaptive; pulse-coupled; neural network 
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